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Аннотация 

Введение. Компьютерное зрение широко используется для семантической сегментации данных дистанционного 
зондирования Земли (ДЗЗ). Метод позволяет контролировать экосистемы, в том числе водные. Востребованы 
алгоритмы, обеспечивающие качество семантической сегментации снимков ДЗЗ, в частности, для выявления об- 
ластей с фитопланктоном, где возможно цветение воды — причина заморов. Цель исследования — создание ал- 
горитма, обрабатывающего спутниковые данные как входную информацию для формирования и верификации 
математических моделей гидродинамики, по которым отслеживается состояние водных объектов. В литературе 
описаны различные алгоритмы семантической сегментации. Новые исследования сосредоточены на повышении 
надежности распознавания — чаще с помощью нейросетей. Этот подход совершенствуется в представленной 
работе. Для развития направления предлагаются новый набор сведений из открытых источников и синтетические 
данные для улучшения обобщающей способности модели. Впервые область контура фитопланктонной популя- 
ции сравнивается с базой данных — и так формируются граничные условия для реализации математических мо- 
делей и построения гранично-адаптивных сеток. 

Материалы и методы. Набор снимков ДЗЗ дополнили с помощью авторского аугментационного алгоритма на 
языке Руфоп. Компьютерное зрение сегментировало области фитопланктонных популяций на снимках. Сверточ- 
ную нейронную сеть (СНС) Ч-Ме! обучили на базе ускорителей вычислений МУШЛГА ТеЗа Т4. 

Результаты исследования. Для автоматизации обнаружения областей распространения фитопланктона разра- 
ботан алгоритм компьютерного зрения, основанный на СНС 0 -Ме{. Модель оценили по вычисленным значениям 
основных метрик качества, относящихся к задачам сегментации. Получены следующие значения метрик: 
Ргес1$1оп = 0,89, Кеса| = 0,88, Е1 = 0,87, Гисе = 0,87 и ю0 = 0,79. Графическая визуализация результатов обучения 
СНС на обучающем и валидационном наборах показала хорошее качество обучения модели. Об этом свидетель- 
ствуют малые изменения функции потерь в конце обучения. Выполненная моделью сегментация оказалась 
близка к ручной разметке, что говорит о высоком качестве предложенного решения. По площади одного пикселя 
рассчитали площадь сегментированной области фитопланктонной популяции. Полученный результат для исход- 
ного изображения — 51202,5 (по информации о количестве пикселей, относящихся к цветению сине-зеленых 
водорослей). Соответствующий итог моделирования — 51312. 

Обсуждение и заключение. Исследование расширяет теоретические и практические знания о применении свер- 
точных нейронных сетей для семантической сегментации данных космических снимков. Учитывая итоги работы, 
можно оценить потенциал автоматизации процесса семантической сегментации данных ДЗЗ для определения 
границ фитопланктонных популяций с помощью искусственного интеллекта. Применение предложенной модели 
компьютерного зрения для получения контуров цветения воды из-за фитопланктона позволит создать базы дан- 
ных — основу для экологического мониторинга водных ресурсов и прогностического моделирования гидробио- 
логических процессов. 
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Введение. В различных сферах деятельности необходимы автоматизированные алгоритмы для обработки ин- 
формации, полученной со спутников. Решение фундаментальных и прикладных задач экологии требует сегмен- 
тирования участков в соответствии с фокусом внимания исследователей. Это оптимизирует процесс изучения и 
моделирования гидробиологических процессов. В качестве примера такого локального интереса можно привести 
цветение воды из-за распространения фитопланктона. Явление имеет значение для текущего и комплексного мо- 
ниторинга водных ресурсов. Его хорошо видно со спутников при дистанционном зондировании Земли (ДЗЗ). 

Цветение воды заметно влияет на ее качество в поверхностных источниках, используемых для систем хозяй- 
ственно-питьевого водоснабжения [1]. По реакции фитопланктонных популяций в гидрологической среде можно 
достоверно судить об общем состоянии водной экосистемы [2]. Негативные последствия неконтролируемого раз- 
множения водорослей — это массовая гибель рыбы (замор), рост нагрузки на водопроводные очистные соору- 
жения [3], загрязнение берегов и пляжей [4]. 

Систематические замеры на автоматических станциях контроля качества воды, а также получение данных 
исследовательских экспедиций — это трудоемкие и дорогостоящие мероприятия. Дополнительный источник ин- 
формации о состоянии фитопланктонного сообщества — современные спутниковые системы, оснащенные съе- 
мочной аппаратурой. Они позволяют дистанционно фиксировать состояние биомассы водорослей, отслеживать 
ее динамику в заданный временной промежуток. 

Значимое преимущество спутниковых данных как инструмента мониторинга водных ресурсов — возмож- 
ность полномасштабного и оперативного контроля в любой точке Земли. Широкий обзор акватории, как правило, 
дает исследователям значительный объем полезной информации. Но, несмотря на активное развитие систем на 
основе алгоритмов компьютерного зрения, задача выделения контуров интересующих областей на данных ДЗЗ 
до сих пор не решена в полной мере. 

Хорошие результаты дают разные алгоритмы семантической сегментации на снимках. С их помощью можно 
выявить и уточнить границы и структуру природных объектов. В [5] показана эффективность метода ГВР (от 
англ. 1оса! Ылагу райегт$ — локальные бинарные шаблоны) для распознавания объектов, состоящих из криволи- 
нейных контуров. [ВР обеспечивает высокую резкость краев и детализацию данных спутникового зондирования 
Земли. В [6] отмечается, что для повышения надежности распознавания следует сочетать алгоритмы искусствен- 
ного интеллекта и такие классические методы выделения контуров изображений, как операторы Собеля, Кирша 
и Лапласа. В [7] предлагается комплексный подход для семантической обработки спутниковых изображений не- 
ограниченного размера с применением нейросетевых моделей 0-М её, которые при выделении объектов показали 
значение Е1-меры от 0,78 до 0,91. 

В исследовании [8] дается обзор интеллектуальных методов решения задачи семантической сегментации данных на 
спутниковых снимках. Авторы приходят к выводу, что в этом случае наиболее эффективны и производительны именно 
нейросетевые алгоритмы. В качестве примера приводится сверточная нейронная сеть (СНС), обученная на нескольких 
тысячах спутниковых снимков штата Массачусетс (США). Точность модели составила 85,31 %. 

В работе [9] рассмотрены семантическая сегментация, сегментация экземпляра и паноптическая сегментация. 
Названы преимущества использования методов глубокого обучения, реализованных в архитектурах таких СНС, 
как Зе›Меф, О-Ме{ё и ОеерГаб. 

В [19] автоматизированная обработка спутниковых изображений основывается на сочетании набора данных 
ЗрасеМе( и достижений в области компьютерного зрения, которые стали возможны благодаря глубокому обучению. 
В данной работе представлены пять подходов, основанных на улучшениях моделей 0-М№ и МазК В-Сопуоанопа! 
Меигопа! Мебуогк$. Значения метрик для лучших моделей: средняя точность (ауегаее ргес1з1оп, АР) и средний отклик 
(ауегасе гесаП, АВ) 0,937 и 0,959 соответственно. 

Эффективное применение СНС для обнаружения инверсионных следов на спутниковых снимках описано в [11]. До- 
казано, что при масштабном мониторинге инверсионных следов с измерением их воздействия на климат подход на ос- 
нове СНС архитектуры О-Ме{ демонстрирует Е1-меру, равную 0,52, с общей средней вероятностью обнаружения 0,51. 
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Особый интерес вызывают модели 2023 года: Зестеп( Апу#те (ЗАМ), Гапгиазе-Зестеп-Апу те (Гап?-ЗАМ) 
и НО-ЗАМ. Это динамические инструменты глубокого обучения, способные прогнозировать маски объектов по 
изображениям с помощью подсказок ввода. Ряд исследователей уже применили этот подход для анализа аэрофото- 
снимков и данных ДЗЗ. Точность определения областей интереса оказалась высокой [12]. В [13] значение Е1 дости- 
гает 86,5 % + 4,1 %. В дальнейшем модели подобной архитектуры с различными модификациями (Роур-ЗАМ, 


Отоипате ОГМО и пр.) позволят выполнять как интерактивную (требующую вмешательства пользователя), так и 
автоматическую сегментацию. 


Для обработки ДЗЗ все шире внедряются интеллектуальные технологии. Отмечается высокая точность моде- 
лей. Особое внимание уделяется методам на основе таких СНС, как Зе Мер Ц-Меё, ОеерГ.аб в сочетании с клас- 
сическими методами предобработки изображений. Активно развивается обобщенный подход к сегментации. 

В настоящей работе рассматривается решение задачи из области усвоения данных ДЗЗ методом компьютер- 
ного зрения. Показано применение СНС Ц -Ме{ для сегментации областей, содержащих фитопланктонные попу- 
ляции. Созданный авторами алгоритм позволяет сегментировать области интереса и вычислять их площади, что 
необходимо для дальнейшего анализа при решении задач гидродинамики и гидробиологии. 

Приведенные ниже четыре пункта описывают научную новизну представленного исследования. 

1. Сформирован набор данных из открытых источников. 

2. Для улучшения обобщающей способности модели сгенерированы синтетические данные. С этой целью 
применили собственный алгоритм аугментации для большей устойчивости модели к шумам при практическом 
использовании [14]. 

3. Реализована интеллектуальная модель, основанная на СНС архитектуры О -Ме{ на высокоуровневом языке 
Руфоп. Ее ключевые гиперпараметры оптимизированы с помощью библиотеки Орпа и проверены на тестовом 
наборе данных. 

4. Сравниваются области найденного контура, содержащего фитопланктонные популяции, с имеющейся ба- 
зой данных. Таким образом сформированы граничные условия для последующей реализации математических 
моделей и построения гранично-адаптивных сеток. 

Для достижения поставленной цели требуется решить ряд задач: 

— подготовить базу данных ДЗЗ, содержащую области интереса участки цветения воды; 

— обосновать и описать топологию СНС О-Меб 

— выполнить аугментацию данных для создания расптиренного репрезентативного набора; 

— реализовать, оптимизировать, отладить и протестировать СНС архитектуры Ч-Мет; 

— определить значения ключевых метрик качества модели для сегментации; 

— вычислить площади сегментированного контура с учетом масштаба исходного изображения. 

Теоретическая значимость исследования обусловлена расширением представлений о возможностях примене- 
ния технологии компьютерного зрения в области мониторинга водных ресурсов. Практическая значимость за- 
ключается в разработке прикладного кроссплатформенного и масштабируемого инструмента для анализа сним- 
ков ДЗЗ с целью фиксации областей интереса в водных экосистемах. 

Материалы и методы. Для геопространственного анализа задействовали доступное программное обеспече- 
ние с открытым исходным кодом, с помощью которого часто решаются экологические задачи [15]. 

Исследование основано на актуальных спутниковых данных. Внимание авторов фокусируется на состоянии 
водоемов в период цветения сине-зеленых водорослей. Анализ этой информации позволяет: 

— прогнозировать объем и распределение фитопланктона по акватории [16]; 

— контролировать физические и биологические процессы, определяющие скорость роста фитопланктона и 
накопление биомассы [17]; 

— анализировать климатические изменения на основе прогноза динамики процесса цветения [18]; 

— детально изучить процесс обмена СО> между водным объектом и воздухом [19]. 

Для автоматизации процесса обнаружения областей распространения фитопланктонных популяций и вычисле- 
ния их площадей предлагается разработать алгоритм компьютерного зрения на основе СНС архитектуры О -М№ей. 

В качестве обучающей выборки для алгоритма глубокого обучения взяли 20 космических снимков таких вод- 
ных объектов, как Черное, Каспийское, Азовское моря и др. Фото получены в разных точках земной поверхности. 

На первом этапе изображения разметили, чтобы преобразовать информацию в формат, доступный для пони- 
мания алгоритмом компьютерного зрения, который будет выполнять сегментацию. Выбирали из двух распро- 
страненных подходов к предоставлению аннотаций: 

— создание маски пиксельного уровня; 

— выделение границ многоугольника для области интереса. 
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Применили первый вариант, где файлы масок на уровне пикселей представляют собой области интереса для 
алгоритма. Размеченные маски — это файлы с расширением ]реё или рпз. Пропорции соответствуют изображе- 
нию, которое они аннотируют. На рис. 1 представлен пример исходного изображения и его маски, где зеленым 
цветом обозначена суша, синим — водная поверхность, красным — область фитопланктонной популяции. 


а) 6) 


Рис. 1. Разметка изображений: а — исходное изображение; 6 — маска изображения 


Для увеличения числа изображений в наборе данных применили авторский аугментационный код, дополнен- 
ный шумовыми эффектами. При создании расширенного набора данных использовали следующие модификации 
исходных изображений: 

— поворот на произвольный угол; 

— отображение по осям ОХ и ОУ; 

— обрезка; 

— масштабирование; 

— цветокоррекция. 

Все изменения проводились с учетом шумов, которые могут появиться на реальных изображениях, получен- 
ных при ДЗЗ, и сегментировались с помощью разработанного алгоритма. 

Отметим преимущество авторского алгоритма создания дополнительных исходных данных. В условиях огра- 
ниченного набора реальных снимков использование для обучения искусственно созданных изображений позво- 
лит провести более тонкую настройку разработанной модели, оптимизировать ее параметры и сделать более 
устойчивой к искажениям при практическом применении. 

Архитектура СНС Ч-Ме{ разработана для решения задачи сегментации биомедицинских данных. При ее вы- 
боре определяющим фактором стал относительно малый размер исходных данных, с которым на практике О-М№е 
показывает удовлетворительные результаты. 

Архитектура СНС О -Ме* основана на взаимодействии слоев свертка + пулинг, которые сначала уменьшают 
пространственное разрешение картинки (энкодер), а потом увеличивают его, предварительно объединив с дан- 
ными картинки и пропустив через другие слои свертки (декодер) (рис. 2). 


Слой 1 


Свертка + нормализация Й Операция подвыборки 
по батчам + КеГ О 


Слой увеличения 


разрешения Г’ Пропускные соединения 


Рис. 2. Архитектура СНС 9-М№е 


Сверточные блоки декодера и энкодера соединены сквозными связями, или пропускными соединениями 
(англ. юр соппесНоп$). Это решает проблему затухающего градиента, актуальную для компьютерного зре- 
ния [20]. В данном исследовании использовали энкодер от нейронной сети КезМе!-50, предобученной на дата- 
сете ПпазеМей. 
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Для подбора гиперпараметров СНС Ч-Меф влияющих на архитектуру и процесс обучения, задействовали биб- 
лиотеку Орша. Это позволило автоматизировать настройку модели для достижения лучших результатов. 
Результаты исследования. В таблице 1 представлены параметры модели, заданные при обучении. 


Таблица 1 
Параметры при обучении сверточной нейронной сети О-Ме 

№ Параметр Значение 

1 | Количество изображений в тренировочной выборке 700 

2 |Количество изображений в валидационной выборке 200 

3 |Количество изображений в тестовой выборке 100 

4 |Размер пакета 10 

5 |Коэффициент скорости обучения 1е4 

6 | Детектор переобучения Ранняя остановка 

7 |Оптимизатор Адат 


Модель обучалась при помощи оптимизации функции потерь Дайса функции (П\се 1035) (2), основанной на 
коэффициенте Дайса (1). 


2хоу 
25< =, (0 
|+ 
| 2|Х оУ|+ 5тоой 
О\се [055 =1- . (2) 
|| = У + этоой 
Здесь Х — это множество пикселей, определенных в ходе разметки как область конкретного класса; 


У — множество пикселей, отнесенных к конкретному классу согласно выводам разработанной сегментационной 
модели. Коэффициент Зтоо используется для сглаживания результата вычисления в случае, когда значения Х 
и У близки к нулевым. 

Для обучения модели использовали метод стохастической оптимизации Адат. В качестве детектора переобу- 
чения взяли раннюю остановку. В машинном обучении это один из самых широко используемых методов регу- 
ляризации для предотвращения переобучения. Процесс обучения проводился на базе ускорителей вычислений 
МУШГА Теза Т4, реализован за 100 эпох и занял 55 минут. 

На рис. 3. представлен график обучения СНС на обучающем и на валидационном наборе. По оси ОХ отло- 
жены эпохи обучения, а по оси ОУ — значения функции потерь. Анализируя график можно сделать вывод о 
хорошем качестве обучения модели, так как в конце обучения на тренировочной выборке наблюдаются малые 
изменения функции потерь. 


1,0 


Функция потерь Дайса 
э э г 
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> 
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г 
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Рис. 3. Обучение СНС П-Ме!: — на обучающей выборке; — на валидационной выборке 
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При оценке качества моделей сегментации применяется коэффициент Дайса и метрика степени пересечения 
между двумя ограничивающими рамками (англ. ПиегзесНоп оуег Чиюп — 100, индекс Жаккара), определяемая 
по формуле: 


Юи==—-, (2) 


где Х — это множество пикселей, определенных в ходе разметки как область конкретного класса; У — множество 
пикселей, отнесенных к конкретному классу согласно выводам разработанной модели сегментации. 

В таблице 2 представлены значения попиксельной точности, полноты, Ё1-меры, коэффициента Дайса и /о(. Для по- 
лучения итогового значения /о0 вычисляется среднее взвешенное по значениям данной метрики для каждого класса. 


Таблица 2 
Результаты оценки качества модели на тестовой выборке 
Показатель Ргес1510п ВесаП Е1 Пусе ю 9 
Среднее значение по тестовой выборке 0,89 0,88 0,87 0,87 0,79 


На рис. 4 представлены итоги работы алгоритма по сегментированию областей водных ресурсов, суши и фи- 
топланктонных популяций. Полученные результаты удовлетворяют задачам мониторинга водных ресурсов и 
имеют практическую ценность. 


г) 0) е) 


Рис. 4. Результаты работы алгоритма по сегментированию областей водных ресурсов, суши и фитопланктонных популяций: 
а, г — исходное изображение; 6, д — ручная разметка; в, е — результат работы модели 


Результат сегментации на рисунке 4 в и 4 е визуально близок к ручной разметке, что говорит о высоком каче- 
стве работы модели. Площадь сегментированной области фитопланктонной популяции рассчитали, оценив пло- 
щадь одного пикселя. Каждое приведенное изображение имеет дополнительные метаданные с обозначением мас- 
штаба изображения и его разрешения. На основе этого значения вычисляется площадь, занимаемая каждым пик- 
селем. В рассмотренном случае для рис. 4 а итоговое значение — 51 202,5. Цифра получена согласно информа- 
ции о количестве пикселей, относящихся к цветению сине-зеленых водорослей, из набора сегментированных 
снимков фитопланктонных популяций в прибрежных системах [21]. Результат вычислений для рис. 4 в — 51 312. 

Обсуждение и заключение. При оценке состояния водных ресурсов компьютерное зрение и другие алго- 
ритмы машинного обучения позволяют освободить специалистов от монотонных операций. Их выполняют ин- 
теллектуальные системы. В этом случае мониторинг может вестись круглосуточно. Алгоритм будет адекватно 
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прогнозировать риски, моделировать развитие ситуации и поддерживать принятие оперативных решений. Со- 
храненные и тиражированные знания в формате баз данных и реестров могут использоваться для создания дол- 
госрочных источников информации, к которым исследователи будут обращаться при анализе состояния водое- 
мов и построении климатических моделей. 

Обработка данных ДЗЗ в виде семантических контуров позволит верифицировать сложные математические 
модели за счет уточнения граничных и начальных условий, повысить достоверность, скорость и надежность про- 
гностического моделирования гидробиологических процессов. 
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